The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .

零击学习是一种学习制度，通过概括从可见类中学到的视觉语义关系来识别看不见的课程。为了获得有效的ZSL模型，可以诉诸于来自多个来源的培训样本，这可能不可避免地提高了有关不同组织之间数据共享的隐私问题。在本文中，我们提出了一个新颖的联合零摄影学习FedZSL框架，该框架从位于边缘设备上的分散数据中学习了一个中心模型。为了更好地概括为以前看不见的类，FEDZSL允许从非重叠类采样的每个设备上的训练数据，这些数据远非I.I.D.传统的联邦学习通常假设。我们在FEDZSL协议中确定了两个关键挑战：1）受过训练的模型容易偏向于本地观察到的类，因此未能推广到其他设备上的看不见的类和/或所见类别； 2）由于培训数据中的每个类别都来自单个来源，因此中心模型非常容易受到模型置换（后门）攻击的影响。为了解决这些问题，我们提出了三个局部目标，以通过关系蒸馏来进行视觉声音对齐和跨设备对齐，这利用了归一化的类协方差，以使跨设备的预测逻辑的一致性正常。为了防止后门攻击，提出了一种功能级防御技术。由于恶意样本与给定的语义属性的相关性较小，因此将丢弃低大小的视觉特征以稳定模型更新。 FedZSL的有效性和鲁棒性通过在三个零击基准数据集上进行的广泛实验证明。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

最近，对深度学习进行了广泛的研究，以加速动态磁共振（MR）成像，并取得了令人鼓舞的进步。但是，如果没有完全采样的参考数据进行培训，当前方法可能在恢复细节或结构方面具有有限的能力。为了应对这一挑战，本文提出了一个自我监督的协作学习框架（SelfCollearn），以从无效的K-Space数据中进行准确的动态MR图像重建。拟议的框架配备了三个重要组成部分，即双网络协作学习，重新启动数据增强和专门设计的共同培训损失。该框架可以灵活地与数据驱动的网络和基于模型的迭代未滚动网络集成。我们的方法已在体内数据集上进行了评估，并将其与四种最新方法进行了比较。结果表明，我们的方法具有很强的能力，可以从无效的K空间数据捕获直接重建的基本和固有表示形式，因此可以实现高质量且快速的动态MR成像。

实体图像超分辨率旨在将现实世界的低分辨率图像恢复到其高质量版本中。典型的RealSR框架通常包括针对不同图像属性设计的多个标准的优化，通过隐含的假设，即基地图像可以在不同标准之间提供良好的权衡。但是，由于不同图像属性之间固有的对比关系，因此在实践中很容易违反该假设。对比学习（CL）提供了一种有希望的食谱，可以通过使用三重态对比损失学习判别特征来缓解此问题。尽管CL在许多计算机视觉任务中取得了重大成功，但由于在这种情况下很难定义有效的阳性图像对，因此将CL引入REALSR是不平凡的。受到观察的启发，即标准之间也可能存在对比的关系，在这项工作中，我们提出了一种新颖的室友训练范式，称为标准比较学习（CRIA-CL），通过开发根据标准而不是图像贴片定义的对比损失。此外，提出了一个空间投影仪，以便在Realsr中获得CRIA-CL的良好视图。我们的实验表明，与典型的加权回归策略相比，我们的方法在相似的参数设置下取得了重大改进。

冠状动脉血管造影（CCTA）易受各种扭曲（例如伪影和噪声）的敏感，这严重损害了心血管疾病的确切诊断。适当的CCTA血管级图像质量评估（CCTA VIQA）算法可用于降低错误诊断的风险。 CCTA VIQA的首要挑战是，冠状动脉的本地部分确定最终质量是很难找到的。为了应对挑战，我们将CCTA VIQA作为多种现实学习（MIL）问题，并利用基于变压器的MIL主链（称为T-MIL），以将沿冠状动脉中心线的多个实例汇总为最终质量。但是，并非所有实例都提供最终质量的信息。有一些质量 - 欧元/负面实例介入确切的质量评估（例如，在实例中仅涵盖背景或冠状动脉的实例是无法识别的）。因此，我们提出了一个基于渐进的增强学习的实例丢弃模块（称为PRID），以逐步删除CCTA VIQA的质量 - 欧尔特尔/否定实例。基于上述两个模块，我们根据端到端优化提出了一个加强的变压器网络（RTN），用于自动CCTA VIQA。广泛的实验结果表明，我们提出的方法实现了现实世界中CCTA数据集的最新性能，超过了以前的MIL方法。

基于AI的推荐系统已成功应用于许多域（例如，电子商务，提要排名）。医学专家认为，将这种方法纳入临床决策支持系统可能有助于减少医疗团队的错误并改善治疗过程中的患者结果（例如，创伤复苏，手术过程）。但是，已经进行了有限的研究来开发自动数据驱动的治疗决策支持。我们探索了构建治疗建议系统以提供下一分钟活动预测的可行性。该系统使用患者环境（例如人口统计和生命体征）和过程上下文（例如活动）来连续预测将在下一分钟进行的活动。我们在预先录制的创伤复苏数据集上评估了我们的系统，并对不同模型变体进行了消融研究。对于61种活动类型，最佳模型的平均F1得分为0.67。我们包括医疗团队的反馈并讨论未来的工作。

广义的零射击学习（GZSL）旨在通过将语义知识从看见的类别转移到看不见的阶级来识别所见类和看不见的类别的图像。这是一个有希望的解决方案，可以利用生成模型的优势，以根据从所见类中学到的知识来幻觉现实的看不见的样本。但是，由于产生的变化，大多数现有方法的合成样本可能从看不见的数据的实际分布中偏离。为了解决这个问题，我们提出了一个基于流动的生成框架，该框架由多种条件仿射耦合层组成，用于学习看不见的数据生成。具体而言，我们发现并解决了触发产生转移的三个潜在问题，即语义不一致，方差崩溃和结构障碍。首先，为了增强生成样品中语义信息的反射，我们将语义信息明确嵌入到每个条件仿射耦合层中的转换中。其次，为了恢复真正看不见的特征的固有差异，我们引入了一种边界样本挖掘策略，具有熵最大化，以发现语义原型的更困难的视觉变体，并在此调整分类器的决策边界。第三，提出了一种相对定位策略来修改属性嵌入，引导它们充分保留类间的几何结构，并进一步避免语义空间中的结构障碍。四个GZSL基准数据集的广泛实验结果表明，GSMFlow在GZSL上实现了最先进的性能。

受到远见与语言之间的牢固联系的启发，我们的论文旨在探索文本中的3D人类全身动作的产生，以及其互惠任务，分别用于文本2Motion和Motion2Text， 。为了应对现有的挑战，尤其是为了使同一文本产生多个不同的动作，并避免了不良生产的琐碎的静止姿势序列，我们提出了使用运动令牌（一种离散和紧凑的运动表示）的使用。当将动作和文本信号视为运动和文本令牌时，这提供了一个级别的游戏地面。此外，我们的Motion2Text模块被整合到我们的文本2Motion训练管道的反对准过程中，在该管道中，合成文本与输入文本的显着偏差将受到较大的培训损失的惩罚；从经验上讲，这证明可以有效地提高性能。最后，通过将神经模型调整为机器翻译（NMT）的两种动作方式和文本之间的映射，可以促进。离散运动令牌上分布的这种自回归建模进一步使来自输入文本的姿势序列（可变长度）的非确定性产生。我们的方法是灵活的，可以用于Text2Motion和Motion2Text任务。在两个基准数据集上进行的经验评估证明了我们在这两个任务上的卓越性能在各种最新方法上。项目页面：https：//ericguo5513.github.io/tm2t/

我们开发了一种新的原则性算法，用于估计培训数据点对深度学习模型的行为的贡献，例如它做出的特定预测。我们的算法估计了AME，该数量量衡量了将数据点添加到训练数据子集中的预期（平均）边际效应，并从给定的分布中采样。当从均匀分布中采样子集时，AME将还原为众所周知的Shapley值。我们的方法受因果推断和随机实验的启发：我们采样了训练数据的不同子集以训练多个子模型，并评估每个子模型的行为。然后，我们使用套索回归来基于子集组成共同估计每个数据点的AME。在稀疏假设（$ k \ ll n $数据点具有较大的AME）下，我们的估计器仅需要$ O（k \ log n）$随机的子模型培训，从而改善了最佳先前的Shapley值估算器。